智控——神经网络

       前言：国际著名人工神经网络专家Hecht-Neilsen:人工神经网络是由人工建立的有以有向图为拓扑结构的动态系统，它通过对连续断续的输入状态响应而进行信息处理.

神经元作为神经网络信息处理的基本单位，模拟生物神经元传递信息，具有多输入单输出非线性特性。神经网络是由简单的信息处理单元组成的巨量并行处理、平行计算、分布式存储的处理器，具有存储经验知识并利用有用知识处理问题的功能，可以把神经网络看作是一个自适应系统。

神经网络特点

1、    由于神经网络结构的分布特性的特点，它可以无限接近非线性函数，函数映射可以是连续、离散的。

2、   神经网络具有分布式信息存储特点，注重网络整体的存储形式和多神经元协同作用，所以当一个神经元损坏后，网络可以利用现有存储实现对数据的联想记忆，所以她具有很强的鲁棒性以及容错性。

3、   神经网络中的神经元具有相对独立的处理能力，同时神经元之间通过联系协同工作，使之具有并行处理和大规模计算能力，所以计算速度比较快。

4、   神经网路通过模拟人类形象的思维方法，神经网络中各个神经元之间的网络权值可以通过不断学习不断地修正。

5、   神经网络还是停留在理论阶段，现在神经网路的应用多为结合其他的应用技术，例如模糊逻辑、专家系统、遗传算法等等。

人工神经网络结构常常分为两种基本类型：前馈（前向）网络和反馈（递归）网络。反馈网络和前馈网络的区别主要是神经元输出至少有一条反馈回路，信号可以正向或反向流通。前馈神经网络中的神经元按层排列，网络从输入到输出层是单向连接，只有前后相邻层之间的神经元相互连接，但是同层神经元是没有反馈的，这就是与反馈网络主要区别。神经网络中的学习算法涉及最优化理论计算方法和信号处理等领域，在神经网络中常用的学习规则分为1、误差修正规则2、hebb规则3、竞争学习，本意是有反馈这一说，就是根据反馈回来的误差大小，对目标函数进行调整，体现在对输入函数或者变量的权重的调整。

BP神经网络

BP神经网络又称为多层前馈神经网络，结构相似多层传感器的网络拓扑结构，在神经网络学习中BP算法应用最广，经常用于模式识别和函数逼近。结构中会有多个隐含层，BP学习算法属于监督学习方式；1、训练模式提供给BP网络后，输入信号先向前传播到隐含节点，经过激励函数后，把隐含节点的信息传播到输出节点，给出输出结果。2、按照减小希望输出与实际输出的误差方向，方向修正网络的权值和阈值，直至回到输入层，如此反复知道误差达到最小。3、与其他多层传感器结构不同的是BP各个隐含层权值和阈值可以通过学习调整，其他的不可以。4、包含两个方向前向方向（输入层-隐含层-输出层）和误差逆传播（通过误差信号不断调整连接权值和阈值）。5、在神经网络中隐含层是可以当输入层也可以当做输出层，它作为每一个环节的评委，是前一层的输出层后一层的输入层。每个隐含层是有目标函数、期望输出值、阈值，只有当前一过程实现后才会往后进行。

BP神经网络的特点

1、   BP算法实际上是非线性优化问题的梯度算法，容易陷入局部极小值，所以有时会结合粒子群优化算法提高全局搜索性。

2、   学习算法收敛速度太慢，关键收敛速度与网络权值和阈值初始值有关，需要反复测试，达到最优解。

3、   网络结构设计尚无理论性指导，只能通过实验计算得到，无形中增加了工作量和编程计算量。